Ceph社区动态(2022-12-13~2022-1-16)
2022-01-30Ceph动态Pacific
Ceph社区动态(2022-12-13~2022-1-16)
Qunicy 版本特性冻结,将于3月份发布
Qunicy特性已于2022.1.15特性冻结,进入测试阶段,除了常规测试,此次比之前做更多的伸缩测试,测试规模达到1000+ osd,预计将于2022年3月发布。
近期社区合入pr
- common,PriorityCache优化,将缓存内容按时间进行组织,更细粒度的优先级划分,不过测试来看,性能提升不明显 pr#43299
- bluestore,写过程优化,检查写数据bufferlist中0,并跳过,不进行写入,有相关的计数器可以进行观测 pr#43337
- bluestore,启动过程中减少fsck内存的消耗 pr#43667
- bluestore bluefs锁优化,调整锁粒度 pr#43794
- bluestore 使用基于大页的读buffer,暂时默认关闭 pr#43691
- mon,在create pool时新增--bulk的标记,pg autoscaler会将pool的初始pg数调整为最大的值,默认情况下,pg autoscaler将pool的初始pg数调整为最小值,并动态更改pr#44241
- mgr, 新增pg_autoscaler全局的打开和关闭命令 pr#43716
- mgr,实现TTL cache, 来缓存集群信息,减少与集群的交互 pr#44088
- mgr balancer优化,重构calc_pg_upmaps pr#44002,准备在Qunicy版本实现primary balancer,以实现容量和负载的均衡
- 重删,cephdeduptool, 新增按chunk(偏移、长度)和对象进行去重的功能,更易于使用重删功能pr#43686
- rgw, s3select功能,基于arrow实现parquet格式支持pr#40802, 由于依赖的问题,编译时暂时默认关闭该功能pr#44603
- rgw,新增用户/bucket级别的速率限制 pr#42891
- rgw中,减少不必要的bucket stats load pr#44538
- rgw 添加max_header_size的选项,来调整beast的parse buffer大小,默认的大小为16K,最大64K,较大的buffer size能够减少socket read的个数 pr#44029,对比之前的版本中,在pr#29776固定为64K,增加了灵活性。
近期Ceph Developer动态
Ceph社区各个模块会定期举行会议,讨论和对齐开发进展,会后有视频上传至youtube,主要会议信息如下:
会议名称 | 说明 | 频率 |
---|---|---|
Crimson SeaStore OSD Weekly Meeting | Crimson & Seastore开发周例会 | 周 |
Ceph Orchestration Meeting | Ceph管理模块(Mgr)开发 | 周 |
Ceph DocUBetter Meeting | 文档优化 | 双周 |
Ceph Performance Meeting | Ceph性能优化 | 双周 |
Ceph Developer Monthly | Ceph开发者月度例会 | 月 |
Ceph Testing Meeting | 版本验证及发布例会 | 月 |
Ceph Science User Group Meeting | Ceph科学计算领域会议 | 不定期 |
Ceph Leadership Team Meeting | Ceph领导团队例会 | 周 |
近期主要关注Performance,会议讨论了如下内容:
- Quincy版本性能测试,需要与pacific版本进行对比,nvme性能测试将基于mako(amd EPYC 7742)进行,部署120 osd,测试涵盖单节点多节点(副本,ec),测试工具主要有fio(rbd cephfs), hsbench(rgw),tcmu-runner(iscsi/nbd), omapbench(mds)
- Qunicy版本可能会加入恢复测试
- Pacific 测试过程发现,perf cycles/op monitoring对性能有影响,up to 15%
- ceph中内存使用情况并不透明,有好多模块内存跟踪不到,可能需要更多内存相关优化。
【版权声明】Copyright © 2024 openEuler Community。本文由openEuler社区首发,欢迎遵照 CC-BY-SA 4.0 协议规定转载。转载时敬请在正文注明并保留原文链接和作者信息。
【免责声明】本文仅代表作者本人观点,与本网站无关。本网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文仅供读者参考,由此产生的所有法律责任均由读者本人承担。